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Beschreibung 

Verfahren zum Trainieren eines neuronalen Netzes, Verfahren 
zur Klassif ikation einer Folge von EingangsgroBen unter Ver- 
5 wendung eines neuronalen Netzes, neuronales Netz und Anord- 
nung zum Trainieren eines neuronalen Netzes 

Ein neuronales Netz weist Neuronen auf, die zumindest teil- 
weise miteinander verbunden sind, Eingangsneuronen des neuro- 
10 nalen Netzes werden Eingangssignale als Eingangsgrolien den 
Eingangsneuronen zugefiihrt. Das neuronale Netz weist ubli- 
cherweise mehrere Schichten auf . Abhangig von einem Neuron 
des neuronalen Netzes zugefuhrten Eingangsgro/ien und einer 
fur das Neuron vorgesehenen Aktivierungsf unktion generiert 
15 jeweils ein Neuron ein Signal, welches wiederum Neuronen ei- 
ner weiteren Schicht als Eingangsgroiie gemalJ einer vorgebba- 
ren Gewichtung zugefiihrt wird. In einer Ausgangsschicht wird 
in einem Ausgangsneuron eine Ausgangsgroiie abhangig von Gro- 
Ben, die dem Ausgangsneuron von Neuronen der vorangegangenen 
20 Schicht zugefiihrt werden, generiert. Es existieren derzeit im 
wesentlichen zwei Ansatze hinsichtlich der Frage, in welcher 
Form Information in einem neuronalen Netz gespeichert ist. 

Ein erster Ansatz geht davon aus, dali die Information in ei- 
25 nem Neuronalen Netz im Spektralbereich codiert ist. Bei die- 
sem Ansatz wird eine zeitliche Folge von Eingangsgrofien der- 
art codiert, daB ftir jeden Zeitreihenwert einer zeitlichen 
Folge der EingangsgroBen jeweils ein Eingangsneuron vorgese- 
hen ist, an welches Eingangsneuron der jeweilige Zeitreihen- 
30 wert gelegt wird. 

Bei einem neuronalen Netz, welches gemaB diesem Ansatz ausge- 
staltet ist, wird iiblicherweise als Aktivierungsf unktion eine 
tangens h^^perbolicus (tanh) -Funktion verwendet . 


35 


Diese erste Art eines neuronalen Netzes wird im weiteren als 
statisches neuronales Netz bezeichnet. 
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Nachteilig an diesem Ansatz ist insbesondere, dafi es mit ei- 
nem statischen neuronalen Netz nicht moglich ist, eine Dyna- 
mik eines Prozesses, welchem Prozeli ein technisches System 
unterliegt, explizit bei der internen Codierung der Folge von 
Eingangsgrolien zu beriicksichtigen . 

Die aus [4] bekannten Time-Delay-Neural-Networks (TDNN) ver- 
suchen diesem Nachteil dadurch zu begegnen, daii bei einer 
Mehrzahl von Folgen von EingangsgroBen fiir jede Folge und fur 
jeden Zeitreihenwert jeweils ein Eingangsneuron vorgesehen 
ist. Dieser Ansatz weist insbesondere den Nachteil auf, daJ5 
die Dimension des Eingaberaums, reprasent iert durch die An- 
zahl von Eingangsneuronen, mit wachsender Anzahl zu beruck- 
sichtigender unterschiedlicher Folgen von EingangsgroBen ex- 
ponentiell wachst . 

Mit steigender Anzahl von Neuronen in dem neuronalen Netz ist 
ferner ein erhohter Trainingsauf wand unter Verwendung einer 
mit steigender Anzahl Neuronen steigender Anzahl benotigter 
Trainingsdaten verbunden. Damit wird ein Trainieren eines 
statischen neuronalen Netzes unter diesen Bedingungen sehr 
rechenaufwendig bzw. praktisch nicht mehr durchf iihrbar . 

Zum Trainieren eines statischen neuronalen Netzes wird ubli-^ 
cherweise ein gradientenbasiertes Trainingsver f ahren bei- ^ 
spielsweise das Back-Propagation-Verf ahren eingesetzt. 

Aus [3] ist ferner fur ein statisches neuronales Netz ein 
Trainingsverf ahren bekannt, welches als ALOPEX-Verf ahren be- 
zeichnet wird. Bei diesem Verfahren wird das Lernen eines 
statischen neuronalen Netzes als ein Optimierungsproblem be- 
trachtet. Ziel der Optimierung ist in diesem Fall die Mini- 
mierung eines Fehlermaiies E unter Berucksichtigung von in dem 
statischen neuronalen Netz vorhandenen Gewichte, mit denen 
die Verbindungen zwischen Neuronen gewichtet sind, fur einen 
vorgegebenen Trainingsdatensatz mit Trainingsdaten. 


GR 98 P 2394 




3 


10 

15 


20 



30 


Ein Trainingsdatiam ist ein Tupel, welches Eingangsgrofien, 
beispielsweise Zustandsgroiien eines technischen Systems bzw. 
Rahmenbedingungen, denen ein technisches System unterliegt, 
die einem technischen System zugefuhrt werden, sowie eine un- 
ter den Rahmenbedingungen ermittelte AusgangsgroUe, die von 
dem technischen System zu den EingangsgroBen gebildet wird. 

Das ALOPEX-Ver f ahren wird im weiteren im Zusammenhang mit dem 
Ausf uhrungsbeispiel naher erlautert . 

Ein zweiter Ansatz ist darin zu sehen, dafi die Information 
iiber ein System in dem Zeitbereich und in dem Spektralbereich 
codiert ist* Ein kiinstliches neuronales Netz, welches diesem 
Ansatz Rechnung tragt, weist sogenannte gepulste Neuronen auf 
und ist aus [2] bekannt. 

Ein gepulstes Neuron wird gemafl [1] derart modelliert, daft 
das Verhalten eines gepulsten Neurons hinsichtlich einer ex- 
ternen Stimulierung, die im weiteren als EingangsgroBe be- 
zeichnet wird, durch eine stochastische Dif f erentialgleichung 
des Ito-Typs gemaJi folgender Vorschrift beschrieben wird: 


In der Vorschrift (1) wird mit dW(t) ein Standard-Wiener- 
ProzeB bezeichnet. Eine vorgegebene Konstante x beschreibt 
eine Verzogerung eines Membranpotentials V(t) des modellier- 
ten Neurons ohne Eingangsgrofte, die an dem Neuron anliegt. 
Durch das Modell wird ein biologisches Neuron in seinem Ver- 
halten nachgebildet . Aus diesem Grund wird ein gepulstes Neu- 
ron auch als biologisch orientiertes Neuron bezeichnet . 

Ferner wird mit S(t) eine Kopplung des Neurons mit einem an- 
deren Neuron bezeichnet, d.h. es gilt: 
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s(t) = ^s(t) = S'^Ct - ti), 

i 


(2; 


wobei mit eine Ankoinmzeit bezeichnet wird, zu der ein ex- 
terner Impuls an einem Eingang eines Neurons ankoinitit. Eine 
5 soma-synaptische Starke wird durch eine synaptische Grolie w 
modelliert • 

In dieseiti Modell wird von dem gepulsten Neuron ein Impuls ge 
neriert, wenn das Membranpotential V(t) einen vorgegebenen 
10 Schwellenwert 0 erreicht. Nach Generierung des Impulses wird 
das Membranpotential V(t) des Neurons auf einen vorgegebenen 
Initialisierungs-Potentialwert V ( 0 ) zuriickgeset zt . 

Eine zeitliche Folge von Impulsen wird somit gemafi folgender 
15 Vorschrift beschrieben: 

t.Qf ... , t}^/ ... , ( 3 ) 

und geniigt folgender Vorschrift: 

20 

o(t) = Z - tk). (4) 
k 


Ferner ist aus [1] bekannt, dal5 unter der Annahme des oben 
beschriebenen Modells fiir ein gepulstes Neuron ein Unter- 
25 scheidungswert I (T) gebildet werden kann, mit dem angegeben 
wird, mit welcher Verlaiilichkeit eine Folge von Eingangsgro- 
fien korrekt klassif iziert wird hinsichtlich der fiir ein Trai 
ning des neuronalen Netzes verwendeten Trainingsdaten . 


30 Der Unterscheidungswert I (T) ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb eines Zeitraums [0; T] 
gebildet werden sowie von einer Trainings-Folge von Eingangs 
groJien, die dem neuronalen Netz zugefuhrt werden. Der Unter- 
scheidungswert I (T) genugt folgender Vorschrift: 
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I(T) = I 



(5) 


wobei mit 

• s die Eingangsgrofien bezeichnet werden, 

• ein Impuls bezeichnet wird, der von einem gepulsten 
Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

• mit kn (n = 1, . . . , N) ein Zeitpunkt bezeichnet wird, zu 
dem das gepulste Neuron n den innerhalb des Zeitraums 
[0, T] letzten Impuls generiert hat, 

• N eine Anzahl in dem Neuronalen Netz enthaltener gepulster 
Neuronen bezeichnet wird. 

Fiir ein Neuronales Netz mit einer Mehrzahl von N Neuronen er- 
gibt sich eine stochastische Dif f erentialgleichung des Ito- 
Typs gemaii folgender Vorschrift beschrieben wird: 


wobei mit 

• Vi(t) ein Membranpotential des i-ten Neurons bezeichnet 
wird (i = 1, , . . , N) , 

• N eine Anzahl in dem Neuronalen Netz enthaltener Neuro- 
nen bezeichnet wird, 

• ^ij jeweils ein Gewicht einer Kopplung zwischen dem i- 
ten und dem j-ten Neuron bezeichnet wird, anschaulich 
eine synaptische Starke zwischen den Neuronen i und j, 

• Aij eine vorgebbare axionale Ver zogerungszeit eines Si- 
gnals zwischen den Neuronen i und j bezeichnet wird. 



j = l k ^ -"^ 


(6) 


dt + Ii(t)dt 
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• Ii(t) ein externes Stimulierungssignal des Neurons i be- 
zeichnet wird, 

Der Erfindung liegt das Problem zugrunde, ein Verfahren sowie 
eine Anordnung zum Trainieren eines neuronalen Netzes mit ge- 
pulsten Neuronen anzugeben. Ferner liegt der Erfindung das 
Problem zugrunde, ein Verfahren zur Klassi f ikation einer Fol- 
ge von Eingangsgrofien unter Ver wenduncf eines neuronalen Net- 
zes mit gepulsten Neuronen sowie ein neuronales Netz mit ge- 
pulsten Neuronen anzugeben. 

Die Probleme werden durch die Verfahren und die Anordnung so 
wie durch das neuronale Netz mit den Merkmalen der unabhangi 
gen Patentanspriiche gelost. 

Ein Verfahren zum Trainieren eines neuronalen Netzes, welches 
gepulste Neuronen enthalt, weist folgende Schritte auf : 

a) fiir einen ersten Zeitraum wird das neuronale Netz derart 
trainiert, daii ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgroiien, die dem neuronalen Netz zugefuhrt werden, 

c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt , 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkiirzung des 
zweiten Zeitraums der vorangegangenen Iteration gebildet 
wird, 

- sonst wird das Verfahren beendet und das trainierte 
neuronale Netz ist das neuronale Netz der letzten Itera- 


GR 98 P 239 



7 

tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

Ein Verfahren zur Klassif ikation einer Folge von Eingangsgro- 
5 lien unter Verwendung eines neuronalen Netzes, welches gepul- 
ste Neuronen enthalt und gemaJi folgenden Schritten trainiert 
worden ist, weist folgende Schritte auf : 

a) fur einen ersten Zeitraum wird das neuronale Netz derart 
trainiert, dal3 ein Unterscheidungswert maximiert wird, 

10 wodurch ein maxiiualer erster Unterscheidungswert gebildet 

wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitrauitis 
gebildet werden sowie von einer Trainings-Folge von Ein- 

15 gangsgroBen, die dem neuronalen Netz zugefuhrt werden, 

c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt , 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
2 0 dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkiirzung des 
zweiten Zeitraums der vorangegangen Iteration gebildet 
wird, 

- sonst wird das Verfahren beendet und das trainierte 
neuronale Netz ist das neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist, 

30 - die Folge von Eingangsgrolien wird dem neuronalen Netz 

zugefuhrt, 

d) ein Klassif ikationssignal wird gebildet, mit dem angege- 
ben wird, welcher Art einer Folge von Eingangsgroften die 
zugef uhrte Folge ist . 

35 


Ein neuronales Netz, welches gepulste Neuronen enthalt, ist 
gemafi folgenden Schritten trainiert worden: 
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a) fiir einen ersten Zeitraum wird das neuronals Netz derart 
trainiert, daJ3 ein Unterscheidungswert maximiert wird, 
wodurch ein rtiaximaler erster Unterscheidungswert gebildet 
wird, 

5 b) der Unterscheidungswert ist abhangig von Impulsen, die 

von den gepulsten Neuronen innerhalb des ersten Zeitraiams 
gebildet werden sowie von einer Trainings- Folge von Ein- 

gangsgrofien, die dem neuronalen Netz zugef lihrt werden, 

c) iterativ werden folgende Schritte durchgef iihrt : 
10 - der erste Zeitraum wird zu einem zweiten Zeitrauiu ver- 

ktirzt , 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
15 Unterscheidungswert, so erfolgt eine neue Iteration mit 

einem neuen zweiten Zeitraum, der durch Verkiirzung des 
zweiten Zeitraums der vorangegangen Iteration gebildet 
wird, 

- sonst wird das Verfahren beendet und das trainierte 
20 neuronale Netz ist das neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 


Eine Anordnung zum Trainieren eines neuronalen Netzes, wel- 
25 ches gepulste Neuronen enthalt, weist einen Prozessor auf, 

der derart eingerichtet ist, dal5 folgende Schritte durchfiihr- 
bar sind: 

a) fiir einen ersten Zeitraiim wird das neuronale Netz derart 
trainiert, daI5 ein Unterscheidungswert maximiert wird, 

30 wodurch ein maximaler erster Unterscheidungswert gebildet 

wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings -Folge von Ein- 

35 gangsgroBen, die dem neuronalen Netz zugefuhrt werden, 

c) iterativ werden folgende Schritte durchgef iihrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 


'GR 


98 P 2394 




9 


15 


20 



30 


kiirzt , 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert/ so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verkiirzung des 
zweiten Zeitraums der vorangegangenen Iteration gebildet 
wird, 

- sonst wird das Verfahren beendet und das trainierte 
neuronale Netz ist das neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist, 

Durch die Erfindung wird es moglich, mittels eines neuronalen 
Netzes, welches gepulste Neuronen enthalt, eine zeitliche 
Folge von Eingangsgrolien zu klassif izieren, wobei gewahrlei- 
stet ist, daJi bei optimierter Klassif ikationssicherheit eine 
minimierte Anzahl von Zeitwerten dem neuronalen Netz zur 
Klassif ikation zugefuhrt werden miissen. 

Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den 
abhangigen Anspriichen, 

Bevorzugt wird zur Maximierung des ersten Unterscheidungs- 
werts und/oder des zweiten Unterscheidungswerts ein nicht 
gradientenbasiertes Opt imierungs verfahren eingesetzt , bevor- 
zugt ein auf dem ALOPEX-Verf ahren basierendes Optimierungs- 
verfahren. 

Der erste Unterscheidungswert geniigt vorzugsweise folgender 
Vorschrif t : 



I(t) = I s; 


(7) 


wobei mit 
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• s die EingangsgroBen bezeichnet werden, 

• ein Impuls bezeichnet wird, der von eineiti gepulsten 
Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

• mit kn (n = 1, . . . , N) ein Zeitpunkt bezeichnet wird, zu 
dem das gepulste Neuron n den innerhalb des Zeitraums 
[0, T] letzten Impuls generiert hat, 

-•—N—eirne-^torz-aW: — in—dem— Neu-ro n-arlre n^^e-t-z— en-t^h a-l-te n e r g epulrs-ter^ 


Neuronen bezeichnet wird. 

In einer weiteren Ausgestaltung geniigt der erste Unterschei- 
dungswert folgender Vorschrift 

I(T) = -Jp(out) ■ ln(p(out))dt$^>...dt^^^\..dt<^) + 

i pj p(outse)) . ln(p(.ut|s6)))dt«... dt«... dtW 


+ 

j = l 


(8: 


mit 


p(out) = X Pjp[out|s(^)j , 


(9) 


j = l 


20 wobei mit 

eine Eingangsgrolie bezeichnet wird, die an das Neurona- 

le Netz zu einem Zeitpunkt j angelegt wird, 
• pj eine Wahrscheinlichkeit dafur bezeichnet wird, daii zu 

einem Zeitpunkt j die Eingangsgrolie an das Neuronale 

25 Netz angelegt wird, 

eine bedingte Wahrscheinlichkeit dafur bezeichnet 

wird, ein Impuls von einem gepulsten Neuron in dem Neurona- 
len Netz generiert wird unter der Bedingung, dali zu einem 

Zeitpunkt j die Eingangsgrolie s^-^^ an das Neuronale Netz an- 
30 gelegt wird. 
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Die Trainings-Folgen von Eingangsgroiien sind bevorzugt gemes- 
sene physikalische Signale. 

Somit sind die Verfahren und die Anordnungen im Rahmen der 
Beschreibung eines technischen Systems, insbesondere zur Be- 
schreibung bzw. Untersuchung eines mehrkanaligen Signals, 
welches durch einen Elektroencephalographen auf genommen wor- 
den ist und ein Elektroencephalogramm beschreibt, einsetzbar. 

Die Verfahren und die Anordnungen konnen ferner zur Analyse 
multivarianter Finanzdaten in einem Finanzmarkt zur Analyse 
okonomischer Zusammenhange eingesetzt werden. 


15 Die beschriebenen Verf ahrensschritte konnen sowohl in Soft- 
ware fur den Prozessor als auch in Hardware, d.h. mittels ei- 
ner Spezialschal tung, realisiert werden. 

Ein Ausfuhrungsbeispiel der Erfindung ist in den Figuren dar- 
20 gestellt und wird im weiteren naher erlautert. 


Es zeigen 

Figur 1 ein Ablauf diagramm, indem die einzelnen Verfahrens- 
schritte des Ausf uhrungsbeispiels dargestellt sind; 

Figur 2 eine Skizze eines Elektroencephalographen und einem 
Patienten fiir den ein Elektroencephalogramm erstellt 
wird; 

Figur 3 eine Skizze eines neuronalen Netzes gemali dem Ausfuh- 
rungsbeispiel ; 

Figur 4 eine Skizze, anhand der das Prinzip, welches dem Aus- 
35 fuhrungsbeispiel zugrunde liegt, dargestellt wird. 
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Fig. 2 zeigt einen Patienten 200, an dessen Kopf 201 Sensoren 
202, 203, 204, 205 und 206 angebracht sind zur Aufnahme von 
Gehirnstoitien. Von den Sensoren 202, 203, 204, 205, 206 aufge- 
nommene elektrische Signale 207, 208, 209, 210 und 211 werden 
5 einem Elektroencephalographen 220 uber eine erste Eingangs- 
/Ausgangsschnittstelle 221 zugefuhrt, Der Elektroencephalo- 
graph 220 weist itiehrere Eingangskanale auf. Ober die Ein- 

cfan qs-/AusQanqsschnittstelle 221, die mit einem Analog - 

/ Digital -Wandler 222 verbunden ist , werden die elektrischen 
10 Signale dem Elektroencephalographen 220 zugefiihrt und in dem 
Analog-/Digital-Wandler 222 digitalisiert und jedes aufgenom- 
mene elektrische Signal wird als eine Folge von Zeitreihen- 
werten in einem Speicher 223 gespeichert. 

Somit ist eine Folge von Zeitreihenwerten durch ein Abtastin- 
tervall sowie durch eine Zeitdauer, im weiteren als Zeitraum 
bezeichnet, charakterisiert , wahrend der jeweils ein elektri- 
sches Signal aufgenommen wird. Der Speicher 223 ist mit dem 
Analog-/Digital-Wandler 222 sowie mit einem Prozessor 224 und 
einer zweiten Eingangs-/Ausgangsschnittstelle 225 liber einen 
Bus 22 6 verbunden. 

Mit der zweiten Eingangs-/Ausgangsschnittstelle 225 ist fer- 
ner iiber ein erstes Kabel 227 ein Bildschirm 228, liber ein 
25 zweites Kabel 229 eine Tastatur 230 und iiber ein drittes Ka- 
bel 231 eine Computermaus 2 32 verbunden. 

Auf dem Bildschirm 228 werden Ergebnisse der Untersuchung des 
Patienten 200 dargestellt. Ober die Tastatur 230 bzw. die 
30 Computermaus 232 konnen von einem Benutzer (nicht darge- 
stellt) Eingaben in das System erfolgen. 

Der Prozessor 224 ist derart eingerichtet , daft die im weite- 
ren beschriebenen Verf ahrensschritte durchfiihrbar sind. 

35 
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Jeweils eine Folge von Zei treihenwerten sowie eine Angabe, 
welcher Klasse von Zeitreihenwerten die Folge von Zeitreihen- 
werten zuzuordnen ist, bilden ein Trainingsdatum. 

5 Eine Vielzahl von Trainingsdaten bilden einen Trainingsdaten- 
satz, mit dem ein im weiteren beschriebenes neuronales Netz 
301 trainiert wird. 


10 


20 


35 


Fig, 3 zeigt das neuronale Netz 301 mit gepulsten Neuronen. 


An jeweils ein Eingangsneuron 302, 303, 304 einer Eingangs- 
schicht 305 wird jeweils eine Folge 306, 307, 308 von Zeit- 
reihenwerten angelegt. Jeder angelegter Folge 306, 307, 308 
von Zeitreihenwerten ist im Rahmen des Trainingsverf ahrens 
15 eine Angabe zugeordnet, ob es sich bei dieser Folge 306, 307, 
308 der Zeitreihenwerte, im weiten als Eingabemuster 306, 
307, 308 bezeichnet, um ein Eingabemuster 306, 307, 308 einer 
ersten Klasse oder um ein Eingabemuster 306, 307, 308 einer 
zweiten Klasse handelt. 


Jeweils ein Eingangsneuron 302, 303, 304 ist mit einem Zwi- 
schenneuron 309, 310, 311 einer Zwischenschicht 312 jeweils 
uber eine gewichtete Verbindung 313, 314, 315 verbunden. 

Die Zwischenneuronen 309, 310, 311 sind miteinander iiber Ver- 
bindungen 316, 317, 318, 319, 320, 321 verbunden, die eben- 
falls gewichtet sind. 


Die Zwischenneuronen 309, 310, 311 sind ferner mit weiteren 
30 gepulsten Neuronen 322, 323, 324 iiber gewichtete Verbindungen 
325, 326, 327, 328, 329 und 330 verbunden. 

Die gepulsten Neuronen weisen jeweils das oben beschriebene 
Verhalten auf, welches in [2] dargestellt ist. 


Die Zwischenneuronen 309, 310, 311 sind mit mehreren Zwi- 
schenneuronen 309, 310, 311 verbunden, jeweils die weiteren 
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gepulsten Neuronen 322, 323, 324 sind jeweils mit genau einem 
Zwischenneuron 309, 310, 311 verbunden. Auf diese Weise ist 
es moglich, eine lang reichende Beeinf lussung zwischen Neuro- 
nen eines neuronalen Netzes sowie auch eine lokale Beeinflus- 
5 sung von Neuronen innerhalb des Neuronalen Netzes zu model- 
lieren . 


Mit den weiteren gepulsten Neuronen 322, 323, 324 ist ein 
Ausgangsneuron 331 liber gewichtete Verbindungen 332, 333 und 
10 334 verbunden. Von dem Ausgangsneuron 331 wird ein Ausgangs- 
signal 335 gebildet, mit dem angegeben wird, welcher Klasse 
das Eingabemuster 306, 307, 308 zugehorig ist. 

In der Trainingsphase des neuronalen Netzes 301 wird die Aus- 
15 gangsgrofie 335 mit der dem jeweiligen Eingabemuster zugeord- 
neten Klassif ikationsangabe verglichen und es wird ein Feh- 
lersignal E gebildet, welches verwendet wird zur Anpassung 
der Gewichte, der in dem Neuronalen Netz 301 vorhandenen Ver- 
bindungen zwischen den Neuronen. 

20 

Als Trainingsverf ahren wird im Rahmen dieses Ausf lihrungsbei- 
spiels das nicht gradientenbasierte Verfahren gemafi dem 
ALOPEX-Verf ahren eingesetzt. Das Ziel des ALOPEX-Verf ahrens 
ist die Minimierung eines FehlermaBes E unter Beriicksichti- 
25 gung und Adaptierung der Gewichte w^^ fur einen Trainingsda- 
tensatz . 


Das ALOPEX-Verf ahren wird im weiteren naher erlautert. 


30 Ein Neuron b ist mit einem Neuron c uber eine Verbindung ver- 
bunden, die mit dem Gewicht wj^^ gewichtet ist. Wahrend einer 
f-ten Iteration wird das Gewicht wj^^ gemali folgender Vor- 
schrif t aktualisiert : 

35 Wbc(f) = Wbc(f - 1) + ^bc(f)/ (10) 
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wobei mit Sj^^if) eine kleine positive oder negative vorgege- 
bene Schrittweite 6 gemafi folgender Vorschrift bezeichnet 
wird : 

(-S mit einer Wahrscheinlichkeit Pbir-(f) 
5 ^bc(f) = 1 e . . , . (11) 

[H-d mit emer Wahrscheinlichkeit 1 - Pbc(f) 

Eine Wahrscheinlichkeit P b c(f) wird gebildet qemai^ folgender 
Vorschrift : 


1 + e 


wobei Cbc(f) gemali folgender Vorschrift gebildet wird: 
Cbc(f) = Awbc(f) ■ AE(f), (13) 

Mit T{f) wird ein vorgebbarer Wert bezeichnet. Mit Aw^clf) 
und AE(f) werden die Gewichtsanderungen Aw^cCf) der Gewichte 
Wbc bzw. die Anderung AE(f) des Fehlermaiies E wahrend der 
vorangegangenen zwei Iterationen bezeichnet gemafi folgenden 
Vorschrif ten: 

^^bc(f) = Wbc(f - 1) + Wbc(f - 2), (14) 
AEbc(f) = Ebc(f - 1) + Ebc(f - 2) . (15) 

Der vorgegebene Wert T{f) wird alle F Iterationen aktuali- 
siert gemafi folgender Vorschrift: 

m = ^zz z'|cbc(f')i (16) 

b c f=f-F 

wenn f ein ganzzahliges Vielfaches von F ist, und 


T(f) = T(f - 1) sonst. 


(17) 
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wobei mit M eine Anzahl von Verbindungen in dem neuronalen 
Netz 301 bezeichnet wird. 

Gleichung (16) kann vereinfacht werden zu folgender Vor- 
5 schrift: 


m = f V|AE(f )i . 

r^f^F 


(18) 


10 


15 


Das neuronale Netz 301 wird unter Verwendung des Trainingsda- 
tensatzes gemaB dem oben beschriebenen Trainingsver f ahren 
trainiert. 


Ferner wird ein erster Unterscheidungswert I (T) fiir das neu- 
ronale Netz 301 gemaB folgender Vorschrift gebildet: 


i(t) = I 


L (1) M) AD M) A2) M) 


s; \ 


k2 


.(n) 


^.(n) ^.(n) (n) (n) ^(n) 


(19) 


wobei mit 

• s die EingangsgroBen bezeichnet werden, 

20 • tjf^^ ein Impuls bezeichnet wird, der von einem gepulsten 
Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

• mit kn (n = 1, N) ein Zeitpunkt bezeichnet wird, zu 
dem das gepulste Neuron n den innerhalb des Zeitraums 

25 [0, T] letzten Impuls generiert hat, 

• N eine Anzahl in dem Neuronalen Netz enthaltener gepulster 
Neuronen bezeichnet wird. 



Der erste Unterscheidungswert I (T) entspricht anschaulich der 
30 Differenz folgender Entropien: 


I(T) = H(out) - (H(out|s)> , 


(20) 
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mit 


H(out) = -J p(out) • ln(p(out))cltP... dt^^\.. dt 


(N) 


(21) 


und 


(H(out|s)>^ = - i PjJ p(out|s(3)") . ln(p(out|s6)]]dtP...dtg>...d4^^^ 
j = l 


(22) 


Damit ergibt sich der erste Unterscheidungswert I (T) gemaU 
folgender Vorschrift: 


I(T) = -|p(out) • ln(p(out))dtP...dt^^^\..dt{^^^ + 

|:PjJp(outs(^)) • ln[p[outs(:i))]dt^^\..d4^^^ 


j = l 


dt 


(N) 


(23) 


mit 


p(out) = Pjp(outU^)j , 


(24: 


wobei mit 

eine EingangsgroBe bezeichnet wird, die an das Neurona- 
le Netz zu einem Zeitpunkt j angelegt wird, 
• pj eine Wahrscheinlichkeit dafiir bezeichnet wird, dali zu 

einem Zeitpunkt j die Eingangsgrofle an das Neuronale 

Netz angelegt wird, 

. p(out|s(^)) eine bedingte Wahrscheinlichkeit dafiir bezeichnet 

wird, ein Impuls von einem gepulsten Neuron in dem Neurona- 
len Netz generiert wird unter der Bedingung, dali zu einem 
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Zeitpunkt j die Eingangsgrofie s^-'^ an das Neuronale Netz an- 
gelegt wird, 

1st im Rahmen des Trainings des neuronalen Netzes 301 ein ma- 
5 ximaler erster Unterscheidungswert I (T) ermittelt worden, so 
bedeutet dies, daI3 das in dem ersten Zeitraioiu beobachtete 
Eingangsmuster 306, 307, 308 genug Information enthalt, um 

mi-t_a.u sr-e i-ch e n d e r_jy^exLa B.l.i-C h k e i.t_d a s—E±n gab-emu S-ter_z.u_kias.s.i^ 

f izieren . 

10 

Anschaulich wird im Rahmen des Trainings ftir einen ersten 
Zeitraiim [0; T] der erste Unterscheidungswert I (T) gebildet 
(Schritt 101) (vgl. Fig.l ) . 

15 In einem weiteren Schritt (Schritt 102) wird ein zweiter 
Zeitraum durch Verkiirzung des ersten Zeitraums gebildet: 

[0; T' ] / wobei T' < T. 

20 Fur den zweiten Zeitraum [0; T' ] wird in einem weiteren 

Schritt (Schritt 103) ein zweiter Unterscheidungswert I(T') 
auf die gleiche, oben beschriebene Weise wie der erste Unter- 
scheidungswert I (T) gebildet. 

25 Der erste Unterscheidungswert I (T) wird mit dem zweiten Un- m 
terscheidungswert I(T') verglichen (Schritt 104). 

1st der zweite Unterscheidungswert I(T') gleich dem ersten 
Unterscheidungswert I (T) , so wird ein neuer zweiter Zeitraum 
30 durch Verkiirzung des zweiten Zeitraums [0; ] gebildet 

(Schritt 105) und der neue zweite Zeitraum wird als der zwei- 
te Zeitraum angesehen (Schritt 105) . Fur den zweiten Zeitraum 
der neuen Iteration wird wiederum ein zweiter Unterschei- 
dungswert I(T') (Schritt 103) gebildet. 

35 

Anschaulich bedeutet dieses iterative Verfahren, dali der 
Zeitraum, in dem von den gepulsten Neuronen generierte Impul- 
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15 


20 


30 


se berucksichtigt werden zur Bildung des Ausgangssignals so- 
lange verkurzt wird, bis der zweite Unterscheidungswert I(T') 
ungleich dem ersten Unterscheidungswert I (T) ist. 

1st der zweite Unterscheidungswert I(T") kleiner als der er- 
ste Unterscheidungswert, so wird das neuronale Netz 301 als 
optimiertes neuronales Netz betrachtet, welches in der letz- 
ten vorangegangenen Iteration trainiert wurde, bei dem der 
zweite Unterscheidungswert I(T') nicht kleiner als der erste 
Unterscheidungswert I (T) war (Schritt 107). 

Der jeweils berucksichtigte Zeitraum wird in diskrete Unter- 
zeitraume unterteilt, fur die jeweils lediglich ermittelt 
wird, ob wahrend dieses Unterzeitraums ein Neuron einen Iiu- 
puls generiert hat oder nicht. 

Auf diese Weise wird der flir das Training benotigte Rechen- 
aufwand erheblich reduziert. 

Zur weiteren Veranschaulichung wird das Prinzip anhand Fig . 4 
noch einmal erlautert. 

Fig , 4 zeigt zwei kont inuierliche Prozesse pi und p2, die 


durch eine Menge von kontinuierlichen Eingangssignalen SI und 
S2 gebildet sind, Nach entsprechender , oben beschriebener Di- 
gitalisierung liegen zwei Folgen von EingangsgroJien vor, die 
Eingabemuster . Die Eingabemuster werden dem trainierten neu- 
ronalen Netz 401 in einer Anwendungsphase zugefuhrt, und es 
wird anhand der Zeitreihen fiir das trainierte neuronale Netz 
401 anschaulich eine ra\im-zeitliche Codierung der Prozesse 
pi, p2 durchgefiihrt . 

Anhand eines Ausgangssignals 402 wird durch das trainierte 
neuronale Netz 401 angegeben, um welche Art von Prozefi es 
sich bei dem Eingabemuster handelt. Das trainierte neuronale 
Netz 401 weist die Eigenschaft auf, daB zum einen die Zuver- 
lassigkeit der Klassif ikation optimiert ist und zum anderen 
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eine minimale Anzahl von Zeitreihenwerteri/ also ein minimaler 
zweiter Zeitrauin 403 er f orderlich ist, um die Klassif ikation 
verlaUlich durchzuf iihren . 

5 Im weiteren werden einige Alternativen zu dem oben beschrie- 
benen Ausf uhrungsbeispiel dargestellt: 

Die Anzahl von Eingangen, gepulsten Neuronen sowie Ausgangs- 
signalen ist im allgemeinen beliebig, Auch die Anzahl ver- 
10 schiedener Folgen von Zeitreihenwerten im Rahmen der Klassi- 
fikation sowie des Trainings ist beliebig. Damit ist eine 
Elektroencephalogramin-Analyse flir eine beliebige Anzahl von 
Kanalen zur Tumorcharakterisierung moglich. 
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Patentanspriiche 

1. Verfahren zum Trainieren eines Neuronalen Netzes, welches 
gepulste Neuronen enthalt, 

a) bei dem flir einen ersten Zeitraum ([0;T]) das Neuronale 
Netz derart trainiert wird, dafi ein Unterscheidungswert 
maximiert wird, wodurch ein maximaler erster Unterschei- 

dun gswert qebildet wird / ; 


b) bei dem der Unterscheidungswert abhangig ist von Impul- 
10 sen, die von den gepulsten Neuronen innerhalb des ersten 

Zeitraums gebildet werden sowie von einer T-rainings-Folge 
von Eingangsgrolien, die dem Neuronalen Netz zugefuhrt 
werden, 

c) bei dem iterativ folgende Schritte durchgefuhrt werden: 
15 - der erste Zeitraum wird zu einem zweiten Zeitraum ver- 

kurzt, 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
20 Unterscheidungswert, so erfolgt eine neue Iteration mit 

einem neuen zweiten Zeitraum, der durch Verkurzung des 
zweiten Zeitraums der vorangegegangenen Iteration gebil- 
det wird, 

- sonst wird das Verfahren beendet und das trainierte 
25 Neuronale Netz ist das Neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

2. Verfahren nach Anspruch 1, 
30 bei dem zur Maximierung des ersten Unterscheidungswerts 

und/oder des zweiten Unterscheidungswerts ein nichtgradien- 
tenbasiertes Opt imierungs verfahren eingesetzt wird. 



35 


3. Verfahren nach Anspruch 2, 

bei dem das Optimierungsverf ahren auf dem ALOPEX-Verf ahren 
basiert . 
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4. Verfahren nach einem der Anspruche 1 bis 3, 

bei dem der erste Unterscheidungswert I (T) folgender Vor- 

schrift geniigt : 


5 i(t) = I 


s; i 


Al) ^(1) ^(i) A2) . (2) . (2) 


k2' 


^.(n) ^(n) (n) (n) .(n) 


1» 



wobei mit 

• s die EingangsgroBen bezeichnet werden, 

• ein Impuls bezeichnet wird, der von einem gepulsten 
Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums 
[0, T] generiert wird, 

• mit kn (n = 1, N) ein Zeitpunkt bezeichnet wird, zu 
dem das gepulste Neuron n den innerhalb des Zeitraums 
[0, T] letzten Impuls generiert hat, 

15 • N eine Anzahl in dem Neuronalen Netz enthaltener gepulster 
Neuronen bezeichnet wird. 

5. Verfahren nach Anspruch 4, 

bei dem der erste Unterscheidungswert I(T) folgender Vor- 
20 schrift genugt: 

I(T) = -J p(out) . ln(p(out))dt^^'... dtt^^... at^^) + 

i pj p(out|s(j)) ■ ln(p(outL(j))]dt«... dt«... dt<^) 


25 


+ 

j = l 


mit 


p(out) = 2^ pjp^outU^)^ , 
j = l 


wobei mit 
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eine Eingangsgrofie bezeichnet wird, die an das Neurona- 
le Netz zu eineiti Zeitpunkt j angelegt wird. 


einem Zeitpunkt j die Eingangsgrolie s^-^>' an das Neuronale 
Netz angelegt wird. 


wirdT — ein— I-mpuis~venr-einem— gepu-l-sfeen— Ne^u^^ 
len Netz generiert wird unter der Bedingung, daJi zu einem 

Zeitpunkt j die Eingangsgrolie s^^^ an das Neuronale Netz an- 
gelegt wird. 

6. Verfahren nach einem der Anspruche 1 bis 5, 
bei dem die Trainings-Folge von Eingangsgrolien gemessene phy- 
sikalische Signale sind. 

7. Verfahren nach Anspruch 6, 

bei dem die Trainings-Folge von Eingangsgrolien gemessene Si- 
gnale eines Electroencephalogramms sind. 

8. Verfahren zur Klassif ikation einer Folge von Eingangsgro- 
lien unter Verwendung eines Neuronalen Netzes, welches gepul- 
ste Neuronen enthalt und gemali folgenden Schritten trainiert 
worden ist: 

a) flir einen ersten Zeitraum wird das Neuronale Netz derart 
trainiert, dali ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 
wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgrolien, die dem Neuronalen Netz zugefiihrt werden, 

c) iterativ werden folgende Schritte durchgefiihrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt , 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet. 




Wahrscheinlichkeit dafur bezeichnet 
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- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
einem neuen zweiten Zeitraum, der durch Verktirzung des 
zweiten Zeitraums der vorangegegangenen Iteration gebil- 

5 det wird/ 

- sonst wird das Verfahren beendet und das trainierte 
Neuronale Netz ist das Neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist, 

10 - bei dem die Folge von EingangsgroJien dem Neuronalen Netz 
zugefuhrt wird, 

- bei dem ein Klassif ikationssignal gebildet wird, mit dem 
angegeben wird, welcher Art einer Folge von EingangsgroBen 
die zugefuhrte Folge ist. 
15 

9. Verfahren nach Anspruch 8, 

bei dem die Trainings-Folge von EingangsgroBen und die Folge 
von EingangsgroBen gemessene physikalische Signale sind. 

20 10. Verfahren nach Anspruch 9, 

bei dem die Trainings-Folge von EingangsgroBen und die Folge 
von EingangsgroBen gemessene Signale eines Electroencephalo- 
gramms sind. 


11. Neuronales Netz, welches gepulste Neuronen enthalt und 
gemaB folgenden Schritten trainiert worden ist: 

a) fiir einen ersten Zeitraum wird das Neuronale Netz derart 
trainiert, daB ein Unterscheidungswert maximiert wird, 
wodurch ein maximaler erster Unterscheidungswert gebildet 

30 wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 
gangsgroBen, die dem Neuronalen Netz zugefuhrt werden, 

35 c) iterativ werden folgende Schritte durchgef iihrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kurzt. 
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- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
dungswert gebildet/ 

- 1st der zweite Unterscheidungswert gleich dem erst en 
Unterscheidungswert, so erfolgt eine neue Iteration mit 

5 einem neuen zweiten Zeitraum, der durch Verkurzung des 

zweiten Zeitraums der vorangegegangenen Iteration gebil- 
det wird, 

- sonst wird das Verfahren beendet und das trainierte 
Neuronale Netz ist das Neuronale Netz der letzten Itera- 

10 tion, bei der der zweite Unterscheidungswert gleich dem 

ersten Unterscheidungswert ist. 


15 


11. Neuronales Netz nach Anspruch 10, eingesetzt zur Klassi-i 
fikation eines physikalischen Signals. 

12. Neuronales Netz nach Anspruch 10, eingesetzt zur Klassi- 
fikation eines Signals eines Electroencephalogramms . 

13. Anordnung zum Trainieren eines Neuronalen Netzes, welches 
20 gepulste Neuronen enthalt, 

mit einem Prozessor, der derart eingerichtet ist, dafl folgen- 
de Schritte durchfuhrbar sind: 

a) fiir einen ersten Zeitraum wird das Neuronale Netz derart 
trainiert, dali ein Unterscheidungswert maximiert wird, 

25 wodurch ein maximaler erster Unterscheidungswert gebilde 

wird, 

b) der Unterscheidungswert ist abhangig von Impulsen, die 
von den gepulsten Neuronen innerhalb des ersten Zeitraums 
gebildet werden sowie von einer Trainings-Folge von Ein- 

30 gangsgrolien, die dem Neuronalen Netz zugefuhrt werden, 

c) iterativ werden folgende Schritte durchgef uhrt : 

- der erste Zeitraum wird zu einem zweiten Zeitraum ver- 
kiirzt , 

- fur den zweiten Zeitraum wird ein zweiter Unterschei- 
35 dungswert gebildet, 

- ist der zweite Unterscheidungswert gleich dem ersten 
Unterscheidungswert, so erfolgt eine neue Iteration mit 
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einem neuen zweiten Zeitrauiti/ der durch Verkurzung des 
zweiten Zeitramns der vorangegegangenen Iteration gebil- 
det wird, 

- sonst wird das Verfahren beendet und das trainierte 
Neuronale Netz ist das Neuronale Netz der letzten Itera- 
tion, bei der der zweite Unterscheidungswert gleich dem 
ersten Unterscheidungswert ist. 

r4T~Anordnung nach Anspruch 13, eingeset zt zur Klassif ikation 
eines physikalischen Signals. 

15. Anordnung nach Anspruch 13, eingesetzt zur Klassif ikation 
eines Signals eines Electroencephalogramms . 
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Zusaininenf assung 

Verfahren zum Trainieren eines neuronalen Netzes , Verfahren 
zur Klassif ikation einer Folge von EingangsgroBen unter Ver- 
5 wendung eines neuronalen Netzes , neuronales Netz und Anord- 
nung zum Trainieren eines neuronalen Netzes 

Fur einen ersten Zeitraum wird das neuronals Netz derart 
trainiert, daB ein Unterscheidungswert maximiert wird, wobei 
der Unterscheidungswert abhangig ist von Impulsen, die von 
den gepulsten Neuronen innerhalb des ersten Zeitraums gebil- 
det werden. Iterativ wird der erste Zeitraum so lange ver- . 
kiirzt und fur den zweiten Zeitraum ein zweiter Unterschei- I 
dungswert gebildet bis der zweite Unterscheidungswert kleiner 
ist als der maximale Unterscheidungswert. Das trainierte neu- 
ronale Netz ist das neuronale Netz der letzten Iteration, bei 
der der zweite Unterscheidungswert gleich dem maximalen Un- 
terscheidungswert ist . 


10 


15 
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FIG 1 


101 


Bitdung eines ersten 
Unterscheidungswerts fur einen ersten 
Zeitraum 


102 


Bildung eines zweiten Zeitraums durch 
Verkiirzung des ersten Zeitraums 


103 


T 


Bildung eines zweiten 
Unterscheidungswerts fur den zweiten 
Zeitraum 


106 


neuer zweiter Zeitraum 
zweiter Zeitraum 


104 


Ja 


erster Unterscheidungswert 
^weiter Unterscheidungswert 7^ 


105 


Bildung eines neuen zweiten Zeitraums 
durch Verkurzung des zweiten Zeitraums 


Nein 


107 


Trainiertes Neuronales Netz 1st 
Neuronaies Netz der letzten Iteration 
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